# 爬虫（网络爬虫，Web Crawler）是一种自动化程序，用于在互联网上抓取信息，并按照预设规则对信息进行整理和存储。
# 通用爬虫：广泛抓取全网内容，不限定主题或领域，如搜索引擎使用。
# 聚焦爬虫：针对特定主题或网站，高效、精准地获取与特定需求相关的数据，如抓取豆瓣电影评分。
# 增量式爬虫：只抓取更新内容，减少资源消耗。
# 深层爬虫：抓取动态生成或需要登录的内容。
# “URL”就是网址（Web address）的另一种说法。网址，也被称为统一资源定位符（Uniform Resource Locator，简称URL），它用于在互联网上唯一标识和定位一个资源，如网页、图片、视频或其他类型的文件。
# robots.txt协议：是网站与网络爬虫（如搜索引擎、数据采集程序等）之间的一种通信标准，用于告知爬虫哪些内容允许抓取、哪些内容禁止抓取。
# requests模块：python中原生的一款基于网络请求的模块，功能强大，简单便捷，效率极高。
# 作用：模拟浏览器发请求。
# 如何使用：1,指定url 2,发起请求 3,获取响应数据 4,持久化存储
# GET 请求:
# 用途: 主要用于从服务器获取数据（读取操作）
# POST 请求:
# 用途: 主要用于向服务器提交数据（写入操作），可能会对服务器上的资源进行修改或创建新资源。
# 需求：爬取搜狗首页的页面数据
import requests
# 指定url
url = 'https://www.sogou.com/'
# 发起请求
# get方法会返回一个响应对象
response = requests.get(url)
# 获取响应数据,text返回的是字符串形式的响应数据
page_text = response.text
print(page_text)
# 持久化存储
with open('./sogou.html','w',encoding='utf-8') as f:
    f.write(page_text)
print('成功')